提出了一种使用天气数据实时太阳生成预测的新方法,同时提出了既有空间结构依赖性的依赖。随着时间的推移,观察到的网络被预测到较低维度的表示,在该表示的情况下,在推理阶段使用天气预报时,使用各种天气测量来训练结构化回归模型。从国家太阳辐射数据库获得的德克萨斯州圣安东尼奥地区的288个地点进行了实验。该模型预测具有良好精度的太阳辐照度(夏季R2 0.91,冬季为0.85,全球模型为0.89)。随机森林回归者获得了最佳准确性。进行了多个实验来表征缺失数据的影响和不同的时间范围的影响,这些范围提供了证据表明,新算法不仅在随机的情况下,而且在机制是空间和时间上都丢失的数据是可靠的。
translated by 谷歌翻译
We propose a trust-region stochastic sequential quadratic programming algorithm (TR-StoSQP) to solve nonlinear optimization problems with stochastic objectives and deterministic equality constraints. We consider a fully stochastic setting, where in each iteration a single sample is generated to estimate the objective gradient. The algorithm adaptively selects the trust-region radius and, compared to the existing line-search StoSQP schemes, allows us to employ indefinite Hessian matrices (i.e., Hessians without modification) in SQP subproblems. As a trust-region method for constrained optimization, our algorithm needs to address an infeasibility issue -- the linearized equality constraints and trust-region constraints might lead to infeasible SQP subproblems. In this regard, we propose an \textit{adaptive relaxation technique} to compute the trial step that consists of a normal step and a tangential step. To control the lengths of the two steps, we adaptively decompose the trust-region radius into two segments based on the proportions of the feasibility and optimality residuals to the full KKT residual. The normal step has a closed form, while the tangential step is solved from a trust-region subproblem, to which a solution ensuring the Cauchy reduction is sufficient for our study. We establish the global almost sure convergence guarantee for TR-StoSQP, and illustrate its empirical performance on both a subset of problems in the CUTEst test set and constrained logistic regression problems using data from the LIBSVM collection.
translated by 谷歌翻译
In light of unprecedented increases in the popularity of the internet and social media, comment moderation has never been a more relevant task. Semi-automated comment moderation systems greatly aid human moderators by either automatically classifying the examples or allowing the moderators to prioritize which comments to consider first. However, the concept of inappropriate content is often subjective, and such content can be conveyed in many subtle and indirect ways. In this work, we propose CoRAL -- a language and culturally aware Croatian Abusive dataset covering phenomena of implicitness and reliance on local and global context. We show experimentally that current models degrade when comments are not explicit and further degrade when language skill and context knowledge are required to interpret the comment.
translated by 谷歌翻译
选项代表了在增强学习(RL)中跨多个时间尺度推理的框架。由于最近对RL研究社区无监督学习范式的积极兴趣,该期权框架的适应性适应了授权的概念,这与代理商对环境的影响量相对应,并感知这种影响力和这种影响力的能力,可以在环境奖励结构提供的任何监督的情况下进行优化。许多最近的论文以各种方式修改了这一概念,从而取得了值得称赞的结果。但是,通过这些各种修改,授权的初始背景通常会丢失。在这项工作中,我们通过原始授权原则的角度提供了对此类论文的比较研究。
translated by 谷歌翻译
近年来,动态机制设计引起了计算机科学家和经济学家的极大关注。通过允许代理商在多个回合中与卖方互动,在这种情况下,代理商的奖励功能可能会随着时间而变化并且与国家有关,该框架能够建模丰富的现实世界问题。在这些作品中,通常认为代理商和卖方之间的相互作用遵循马尔可夫决策过程(MDP)。我们专注于此类MDP的奖励和过渡函数的设置,而不是先验地知道,我们正在尝试使用先验收集的数据集恢复最佳机制。在使用函数近似来处理大型状态空间的情况下,只有对功能类表达式的轻度假设,我们能够使用离线增强学习算法设计动态机制。此外,学到的机制大约具有三个关键的逃避:效率,个人理性和真实性。我们的算法基于悲观原则,仅需要对离线数据集的覆盖率进行温和的假设。据我们所知,我们的工作为动态机制设计提供了第一个离线RL算法,而无需假设覆盖范围。
translated by 谷歌翻译
在联合学习(FL)问题中,客户采样在训练算法的收敛速度中起着关键作用。然而,虽然是FL中的一个重要问题,但客户采样缺乏研究。在本文中,我们提出了在线学习,使用强盗反馈框架来了解FL中的客户采样问题。通过调整在线随机镜血清序列算法,以最小化梯度估计的方差,我们提出了一种新的自适应客户端采样算法。此外,我们使用在线集合方法和加倍技巧来自动选择算法中的调整参数。从理论上讲,我们将动态遗憾与比较器相结合,作为理论上最佳采样序列;我们还包括在我们的上限中的该序列的总变化,这是对问题的内在难度的自然度量。据我们所知,这些理论贡献对现有文献进行了新颖。此外,通过实施合成和真实数据实验,我们展示了我们所提出的算法在广泛使用的统一采样中的优势以及以前研究的其他在线学习的采样策略的实证证据。我们还检查其对调谐参数的选择的鲁棒性。最后,我们讨论其可能的延伸,而无需更换和个性化的流动。虽然原始目标是解决客户的采样问题,但这项工作在随机梯度下降和随机坐标序列方法上具有更大的应用。
translated by 谷歌翻译
我们考虑通过有限的地平线$ t $控制线性二次调节器(LQR)系统的问题,以固定和已知的成本矩阵$ q,r $但未知和非静止动力$ \ {a_t,b_t \} $。动态矩阵的序列可以是任意的,但总体变化,V_T $,假设为$ O(t)$和控制器未知。在假设所有$ $ $的稳定序列,但潜在的子最优控制器中,我们介绍了一种实现$ \ tilde {\ mathcal {o}} \ left的最佳动态遗憾的算法(v_t ^ { 2/5} t ^ {3/5} \右)$。通过分词恒定动态,我们的算法实现了$ \ tilde {\ mathcal {o}}(\ sqrt {st})$的最佳遗憾,其中$ s $是交换机的数量。我们的算法的关键是一种自适应的非平稳性检测策略,它在最近开发的用于上下文多武装匪徒问题的方法中构建。我们还争辩说,不适应忘记(例如,重新启动或使用静态窗口大小的滑动窗口学习)可能对LQR问题的后悔最佳,即使窗口大小以$ V_T $的知识最佳地调整。我们算法分析中的主要技术挑战是证明普通的最小二乘(OLS)估计器在待估计的参数是非静止的情况下具有小的偏差。我们的分析还突出了推动遗憾的关键主题是LQR问题在于LQR问题是具有线性反馈和局部二次成本的强盗问题。这个主题比LQR问题本身更普及,因此我们相信我们的结果应该找到更广泛的应用。
translated by 谷歌翻译
大规模凸孔concave minimax问题在许多应用中出现,包括游戏理论,强大的培训和生成对抗网络的培训。尽管它们的适用性广泛,但使用现有的随机最小值方法在大量数据的情况下,有效,有效地解决此类问题是具有挑战性的。我们研究了一类随机最小值方法,并开发了一种沟通效率的分布式随机外算法Localadaseg,其自适应学习速率适合在参数 - 服务器模型中求解凸Conconcove minimax问题。 Localadaseg具有三个主要功能:(i)定期沟通策略,可降低工人与服务器之间的通信成本; (ii)在本地计算并允许无调实现的自适应学习率; (iii)从理论上讲,在随机梯度的估计中,相对于主要差异项的几乎线性加速在平滑和非平滑凸凸环设置中都证明了。 Localadaseg用于解决随机双线游戏,并训练生成的对抗网络。我们将localadaseg与几个用于最小问题的现有优化者进行了比较,并通过在均质和异质环境中的几个实验来证明其功效。
translated by 谷歌翻译
我们研究了在线凸优化,并具有由多个功能约束和相对简单的约束集组成的约束,例如欧几里得球。一般而言,由于在整个预测中执行约束在计算上都具有挑战性,因此我们允许决策违反功能约束,但旨在实现低遗憾和累积违反$ t $时间步骤的约束的侵犯。一阶方法实现$ \ MATHCAL {O}(\ sqrt {t})$遗憾和$ \ Mathcal {o}(1)$约束违规,这是最著名的界限,但不考虑问题的结构信息。此外,现有的算法和分析仅限于欧几里得空间。在本文中,我们提供了一个\ emph {实例依赖性}在线凸优化的绑定,并通过新颖的在线原始偶发镜像算法获得的复杂约束。我们与实例有关的遗憾是通过损失函数顺序中的总梯度变化$ v _*(t)$量化的。所提出的算法在\ emph {eneral} non-euclidean空间中起作用,并同时实现$ \ nathcal {o}(\ sqrt {v _*(t)})违法,这永远不会比最著名的$(\ Mathcal {o}(\ sqrt {t}),\ Mathcal {o}(1))$ result $更糟糕对于此问题,实现$ \ Mathcal {O}(T^{2/3})$遗憾和约束违规。最后,我们的算法在计算上是有效的,因为它仅在每次迭代中执行镜像下降步骤,而不是解决一般的拉格朗日最小化问题。
translated by 谷歌翻译
我们考虑使用共享结构估算两个功能无向图形模型之间的差异的问题。在许多应用中,数据自然被认为是随机函数的向量而不是标量的矢量。例如,脑电图(EEG)数据更适当地被视为时间函数。在这样的问题中,不仅可以每个样本测量的函数数量大,而且每个功能都是自身是无限尺寸对象,使估计模型参数具有挑战性。这进一步复杂于曲线通常仅在离散时间点观察到。我们首先定义一个功能差异图,捕获两个功能图形模型之间的差异,并在功能性差分图定义良好时正式表征。然后,我们提出了一种方法,软件,直接估计功能差异图,而不首先估计每个图形。这在各个图形是密集的情况下,这是特别有益的,但差分图是稀疏的。我们表明,融合始终估计功能差图,即使在全面观察和离散的功能路径的高维设置中也是如此。我们通过仿真研究说明了我们方法的有限样本性质。我们还提出了一种竞争方法,该方法是关节功能图形套索,它概括了关节图形套索到功能设置。最后,我们将我们的方法应用于EEG数据,以揭示一群含有酒精使用障碍和对照组的个体之间的功能性脑连接的差异。
translated by 谷歌翻译